package com.study.basic

import org.apache.spark.mllib.random.RandomRDDs
import org.apache.spark.sql.SparkSession

/**
 * 随机数生成
 * Random data generation
 *
 * @author stephen
 * @date 2019-08-27 14:23
 */
object RandomDataGenerationDemo {

  def main(args: Array[String]): Unit = {

    val spark = SparkSession.builder()
      .appName(this.getClass.getSimpleName)
      .master("local[*]")
      .getOrCreate()

    spark.sparkContext.setLogLevel("warn")

    // 生成1000000个服从正态分配N(0,1)的RDD[Double]，并且分布在 10 个分区中
    val u = RandomRDDs.normalRDD(spark.sparkContext, 10000000L, 10)
    // 把生成的随机数转化成N(1,4) 正态分布
    val v = u.map(x => 1.0 + 2.0 * x)
    v.foreach(println)

    spark.stop()
  }
}
